Skip to content

Political fact-checking efforts are constrained by deficiencies in coverage, speed, and reach

Wack, Duskin, Hodel (2026)

DisciplineComputational
MethodComputational
Tagscoverage gapsdata · content analysisdata · digital trace datafact checkingmethod · descriptive statisticsmethod · network analysismisinformationpolitical communication

Summary

Problem: 事实核查被广泛视为对抗政治错误信息的关键手段,但以往对其效果的研究多基于实验室或实验环境,这些环境假设受众能够即时接触到事实核查,忽略了现实世界中可能限制其影响力的实际障碍。本研究旨在回答:在真实世界的在线信息生态系统中,事实核查在覆盖率、速度和触达范围方面受到哪些限制? Approach: 本研究利用2022年美国中期选举期间收集的1.8百万条与选举相关的X/Twitter帖子(ElectionTweets2022数据集),以及由多机构学术团队实时识别和验证的135个错误信息叙事(ElectionRumors2022数据集)。研究者通过手动Google搜索模拟真实信息寻求行为,为每个叙事识别相关的事实核查,并采用网络分析方法估计用户党派倾向和信息传播动态。 Finding: 研究发现,仅有不到一半(48%)的显著选举相关错误信息叙事被事实核查;在被核查的叙事中,事实核查发布的中位时间比叙事首次出现晚了整整四天;事实核查仅占叙事相关对话的不到1.2%,且即使被分享,也几乎总是在党派社群内部而非跨党派传播。此外,研究提供了与“事实核查存在政治偏见”假设相反的经验证据。 Significance: 这项研究对政治传播领域具有重要意义,因为它首次在真实世界的选举环境中系统量化了事实核查的实际限制,表明实验证据可能高估了事实核查的现实影响力。研究结果质疑了将事实核查作为对抗政治错误信息主要方法的有效性,并揭示了基于事实核查档案进行错误信息研究可能存在的系统性偏差。

Theoretical Framework

N/A

Research Design

本研究采用计算社会科学方法,属于观察性研究设计。分析单元包括:(1) 错误信息叙事(narrative)层面,共135个叙事;(2) 帖子(post)层面,来自ElectionTweets2022数据集。关键自变量包括:叙事党派倾向(左倾/右倾/中立)、叙事类型(压制投票/不可能结果等)、叙事发生时间(选举前/选举后)、高影响力人物参与度(是否有10万以上粉丝的用户参与)、叙事病毒式传播程度(首次出现后24小时内的帖子总数)。关键因变量包括:(1) 覆盖率——叙事是否被事实核查;(2) 速度——事实核查发布与叙事首次出现之间的时间差;(3) 触达范围——事实核查帖子在社交网络中的传播范围及跨党派传播程度。事实核查的识别通过两名作者独立进行Google搜索,并依据严格的纳入标准(必须是官方事实核查、直接针对该叙事、在叙事出现后发布、来源无偏见且高可信度)进行人工验证。

Data & Sample

  • N: 135个错误信息叙事;167个独特的事实核查;ElectionTweets2022数据集包含4.46亿条帖子,其中与叙事相关的帖子超过180万条
  • Population: 2022年美国中期选举期间X/Twitter上与选举相关的错误信息叙事及其传播
  • Country/Region: 美国
  • Recruitment/Data-collection method: 数据通过X/Twitter V1.1 API由九个独立收集器在2022年9月5日至12月1日期间实时收集,基于与选举相关的关键词集。错误信息叙事由多机构学术团队通过实时观察社交媒体识别、验证和编码。事实核查通过手动Google搜索识别。
  • Time period: 2022年9月5日至2022年12月1日(2022年美国中期选举期间)
  • Data source: ElectionTweets2022数据集、ElectionRumors2022数据集(Schafer et al., 2025)、手动收集的事实核查、Media Bias Fact Check评级

Analytical Strategy

研究采用多种分析和统计方法:(1) 描述性统计——计算各叙事特征下的事实核查覆盖率;(2) 时间分析——追踪事实核查发布与叙事首次出现之间的时间延迟;(3) 网络分析——构建共同参与网络(coengagement network),使用Louvain社区检测算法识别党派社群,并基于用户转发行为传播党派标签(80%或以上的转发来自特定党派集群的用户被标记为该党派倾向);(4) 叙事类型分类——将叙事归类为压制投票、不可能结果等类型。关键控制变量包括叙事党派倾向、发生时间、影响力和病毒式传播程度。稳健性检验包括使用替代选择标准重新识别事实核查(详见附录第4节)。

Results & Findings

覆盖率发现:仅有48%(65个)的错误信息叙事被事实核查,其余70个叙事从未被反驳。按帖子数量计算,覆盖率更低,仅为42%。在党派差异方面,54%的右倾叙事被核查,而左倾叙事仅有21%被核查。然而,当引入叙事类型变量后,党派差异减弱。值得注意的是,压制投票类叙事(如投票站故意排长队)仅有不到20%被核查,而涉及不可能结果类叙事(如投票数超过登记选民数)100%被核查。高影响力人物参与和高病毒式传播的叙事被核查的比例仅略高于平均水平(均为59%对41%),表明这些因素对核查选择的预测力不如叙事类型。

速度发现:在被核查的叙事中,事实核查发布的中位时间比叙事首次出现在X/Twitter上晚了整整四天。更关键的是,事实核查发布时,平均已有77%的该叙事错误信息帖子已在网上传播。这意味着大多数受众在事实核查发布之前就已经接触到了错误信息,而此时错误信念可能已经开始形成和固化。

触达范围发现:网络分析显示,事实核查帖子仅占叙事相关对话的不到1.2%。即使事实核查被分享,也几乎总是在党派社群内部传播,而非跨越党派界限。这一发现与网络结构中的党派同质性以及保守派对事实核查机构的不信任相互作用,形成了双重障碍。

与假设的关系:这些发现支持了研究者的理论框架,即错误信息与纠正之间的生产经济不对称性通过覆盖率、速度和触达范围三个相互关联的障碍级联限制了事实核查的影响力。研究还提供了与“事实核查存在政治偏见”假设相反的证据——党派差异在控制叙事类型后减弱,表明差异更多反映了叙事类型的分布而非政治偏见。

意外发现:研究发现叙事类型(而非病毒式传播或影响力人物参与)是预测是否被核查的最强因素,这与直觉预期相反。

Limitations

作者承认以下局限性:(1) 研究无法声称覆盖了所有潜在的错误信息叙事或事实核查,尽管采用了严格的标准进行最佳努力检索;(2) 通过Google搜索识别事实核查可能遗漏一些不易通过搜索引擎发现的事实核查;(3) 研究聚焦于美国2022年中期选举,结果可能无法推广到其他国家或不同选举环境;(4) 党派标签的估计基于转发行为,可能存在分类误差;(5) 研究仅关注X/Twitter平台,未涵盖其他社交媒体平台上的错误信息和事实核查传播。

Key Contributions

  • 首次以选举期间所有已知错误信息叙事为分母(而非仅以已被事实核查的叙事为样本),系统量化了事实核查在真实世界中的覆盖率、速度和触达范围限制
  • 提供了事实核查覆盖率不足一半、中位延迟四天、对话占比不足1.2%的具体经验证据
  • 揭示了基于事实核查档案进行错误信息研究可能存在的系统性选择偏差,为文献中的潜在偏差来源提供了澄清
  • 提供了反驳“事实核查存在政治偏见”假设的经验证据,表明党派差异更多反映叙事类型分布而非政治偏见
  • 提出了“实际障碍”(覆盖率、速度、触达范围)与“心理障碍”(动机推理、呈现效果)的概念区分,指出实验研究因假设即时暴露而系统性地高估了事实核查的现实影响力
  • 将实验室和实验环境中的发现扩展到更广泛的在线信息生态系统,回应了Walter等人(2020)关于事实核查效果能否推广到自然环境的疑问

Key Claims

"We find that fact-checks as currently developed and distributed are severely inhibited by constraints on their i. coverage, ii. speed, and iii. reach, which we link to fundamental challenges to the production economies and information asymmetries that differentiate corrections from misinformation." (Abstract)

"Specifically, we provide evidence that fewer than half of all prominent election-related misinformation narratives were fact-checked." (Abstract)

"Within the subset of fact-checked claims, we find that the median fact-check was released a full four days after the initial appearance of a narrative." (Abstract)

"Using network analysis to estimate user partisanship and dynamics of information spread, we find additional evidence that fact-checks make up less than 1.2% of narrative conversations and that even when shared, fact-checks are nearly always shared within, rather than between, partisan communities." (Abstract)

"Finally, we provide empirical evidence which runs contrary to the assumption that fact-checking is politically biased." (Abstract)


My Notes